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Institutions have a misguided seme of thè fairness ofdecisions reached hy algorithms; unable 
to measure what they want to maximize (qrnlity), they wilì maximize what they can measure 

(Lehman, Jackson e Lautrup 2006) 


Premessa 

La valutazione della ricerca ha subito, anche in Italia, una drastica 
accelerazione negli ultimi anni. Da esercizio confinato ai percorsi 
di carriera (concorsi) e alla selezione delle candidature (per i ban¬ 
di o per le pubblicazioni) e quindi sostanzialmente autoregolato 
dalle singole comunità scientifiche attraverso l'espressione di un 
giudizio di merito espresso dai pari, oggi la valutazione viene estesa 
alle istituzioni, alle strutture di ricerca ed include, almeno poten¬ 
zialmente, l'attesa dell'impatto dei risultati di ricerca sul contesto 
sociale ed economico. Ma il cambiamento più rilevante, ancora non 
completamente esteso a tutti i possibili ambiti applicativi, consiste 
nell'utilizzo degli esiti della valutazione per allocare risorse, fare 
scelte, definire politiche ed interventi. Il cambiamento di finalità. 
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oggetto e stakeliolder della valutazione ha fatto emergere una do¬ 
manda di dati e di informazioni in grado di rendere più trasparente, 
efficiente e funzionale il processo valutativo. Ma ha anche introdot¬ 
to una domanda di comparabilità delle valutazioni (fonti, metodi 
d'analisi, dinamiche nel tempo, variabili utilizzate), in particolare 
rispetto alla varietà dei settori e degli output realizzati. Infatti sem¬ 
pre più spesso le istituzioni si trovano a dover valutare per diverse 
finalità l'attività scientifica svolta da individui, gruppi di ricerca, 
dipartimenti e a dover rendicontare in termini di output quanto è 
stato investito, magari cercando di confrontare al proprio interno 
comunità scientifiche assai diverse per modalità e scelte di comuni¬ 
cazione dei risultati. In questa attività la presenza di dati affidabili e 
completi è fondamentale. 


Misurare la ricerca negli Atenei italiani: 
problemi aperti 

La valutazione è un processo che richiede chiarezza nelle scelte 
legate agli obiettivi e alle motivazioni. La scelta dei criteri e degli 
indicatori nonché del peso da assegnare loro dipende largamente 
dalle ragioni e dai destinatari della valutazione, inoltre, essendo i fe¬ 
nomeni sotto osservazione dinamici, i risultati che ne derivano sono 
sempre relativi e tendono alla semplificazione di fenomeni comples¬ 
si. Gli atenei italiani si trovano ad affrontare un duplice problema: 
il primo è trasversale e riguarda la completezza e correttezza dei 
dati sulla produzione scientifica a disposizione di chi deve valutare 
a qualunque livello, problema che si accentua in quelle aree dove 
non esistono database di riferimento (anche commerciali); il secondo 
è specifico e riguarda la difficoltà nell'individuare criteri adegua¬ 
ti, simili e coerenti per valutare (anche in termini comparativi) la 
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produzione scientifica nelle scienze umane . 1 

In Italia si parte da una scarsa abitudine alla raccolta sistematica 
e standardizzata dei dati. A livello di singola istituzione ciò porta 
ad una grande difficoltà nel reperimento delle informazioni relative 
alla ricerca svolta, dispersa in fonti diverse e non comunicanti fra 
di loro né con l'esterno, a livello nazionale lo stesso fenomeno con¬ 
duce ad un quadro incompleto e qualitativamente poco affidabile. 
Esiste un database centrale (il sito docente Cineca 2 3 ) dove i docenti 
inseriscono i dati relativi alle proprie pubblicazioni solo in occasione 
delle richieste di finanziamento di progetti, o alle conferme dei col¬ 
legi di dottorato. Il sito docente dunque non offre alcuna garanzia 
rispetto alla copertura, correttezza e alla qualità dei dati inseriti dai 
docenti ’ poiché i controlli sono soprattutto di congruenza (ad es. la 
corrispondenza fra numeri standard e titolo della rivista) e vengono 
effettuati in maniera meccanica . 4 

L'altra grande difficoltà che si deve affrontare è rappresentata dal 
fatto che gli indicatori bibliometrici maggiormente in uso (IF e, più di 
recente, h index) non sono validi allo stesso modo per scienze umane 
e scienze dure, e neppure all'interno di queste ultime hanno lo stesso 
peso. Le società scientifiche e gli atenei si sono dunque attrezzati 
autonomamente per cercare di valutare per vari fini il lavoro svolto 
in area umanistica, individuando soluzioni diverse, moltiplicando 

1 II problema della valutazione delle scienze umane non è solo italiano, tuttavia 
risulta maggiormente accentuato nelle aree non anglofone. Sui problemi della valuta¬ 
zione nelle scienze umane vedi fra gli altri (Nederhof 2006), (Moed 2008) e (Hellqvist 
2010). Va inoltre sottolineata la presenza, airinterno delle scienze umane, di discipline 
che hanno comportamenti assai simili alle scienze dure (ad esempio la logica). 

2 http://sitouniversitario.cineca.it/ 

3 Inoltre le istituzioni non sono proprietarie dei dati inseriti. 

4 I1 recente schema di decreto relativo all'anagrafe nazionale dei professori ordinari 
prende atto di una serie di limiti del sito docente a cui si cerca di porre rimedio 
creando una rete di controlli decentrata e rendendo obbligatorio l'inserimento dei 
dati delle pubblicazioni nel sito docente. 
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gli sforzi, ottenendo risultati poco comparabili e facendo scelte in 
alcuni casi contrastanti. 

La ricerca e la documentazione dei risultati nelle discipline uma¬ 
nistiche presentano tratti del tutto peculiari: in primo luogo la di¬ 
versità e la varietà dei prodotti di ricerca e la non linearità della 
produzione che rende significativo l'arco temporale da prendere in 
esame. La presenza di output diversi dalle pubblicazioni scientifiche 
(ad es. organizzazione di mostre o direzione di campagne di scavi) e 
di attività che non conducono nell'immediato ad un risultato (lo stu¬ 
dio di carte e documenti o l'analisi di manoscritti), e che soprattutto 
non si risolvono in un prodotto tangibile fino a quando il lavoro 
istruttorio, lo studio delle carte, l'analisi dei documenti d'archivio 
non sono conclusi, o che possono protrarsi per anni e non dare luogo 
ad alcuna pubblicazione significativa fino alla fine del lavoro. La 
monografia è considerata la tipologia di pubblicazione privilegia¬ 
ta nella comunicazione dei risultati di ricerca nelle scienze umane 
(Thompson 2002), ma mancano in questo ambito database che or¬ 
ganizzino i prodotti della ricerca in maniera sensata per una analisi 
quantitativa. 5 Recentemente è stata avanzata la proposta di analizza¬ 
re i cataloghi di una serie di biblioteche (nazionali e internazionali) 
con l'idea di assimilare la presenza di una monografia nei catalo¬ 
ghi delle biblioteche alle citazioni degli articoli nelle scienze dure 
(Torres-Salinas e Moed 2009). 6 1 ricercatori nell'ambito delle Scienze 

5 Esistono database bibliografici come i cataloghi dei libri in commercio, ma il 
loro scopo è fornire informazioni a chi intende acquistare un libro. I dati non sono 
organizzati a fini valutativi. 

6 L'idea da cui si parte è che mission della biblioteca accademica sia quella di 
documentare lo stato dell'arte nelle varie discipline fornendo ai propri utenti i docu¬ 
menti rilevanti in quelle stesse discipline. Di fatto spesso accade che un libro entri 
in biblioteca del tutto casualmente perché inviato in dono o in scambio, o che venga 
acquistato perché interessa un singolo ricercatore per una singola ricerca e poi non 
venga mai più consultato. Ma il problema maggiore non è rappresentato da ciò che è 
presente (ancorché in maniera casuale), bensì da ciò che non è presente e che spesso 
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umane hanno inoltre una certa riluttanza a pubblicare Online/ e una 
scarsa abitudine all'utilizzo della lingua inglese che comunque non 
è considerata la lingua franca nei settori disciplinari di riferimento. 
Nella scelta delle sedi di pubblicazione si privilegiano gli editori 
nazionali, inoltre assai diverso è il concetto di impatto che ha tempi 
lunghissimi e quindi difficilmente misurabili. 


L'utilizzo dell'archivio istituzionale Open 
Access come fonte di informazioni per la 
valutazione della ricerca 

Gli archivi istituzionali Open Access (o ad Accesso Aperto) 8 sono 
collezioni digitali dei prodotti della ricerca liberamente accessibi¬ 
li a tutti in cui le informazioni relative alla produzione scientifica 
dei ricercatori vengono raccolte in maniera centralizzata, secondo 
standard internazionali 9 ed esposti ai motori di ricerca attraverso 
protocolli che permettono l'interoperabilità e la comparabilità sia 
a livello nazionale che a livello internazionale (OAI- PMH ). 10 Lo 
scopo principale per cui sono creati è quello di documentare in ma¬ 
niera permanente ed esaustiva, in un unico luogo virtuale, l'attività 
di ricerca svolta all'interno dell'ateneo. Essi fungono da indicatori 
affidabili della qualità della ricerca di una istituzione aumentandone 

non può essere acquistato per mancanza di fondi. 

7 Anche se si comincia a prendere atto delle opportunità offerte dalle rete (Borgman 
2007). 

8 Si veda al proposito la esaustiva definizione di Clifford Lynch (Lynch 2003). 

9 Ad esempio Dublin Core http://dublincore.org/. 

10 http://www.openarchives.org/OAI/openarchivesprotocol.html. Il protocollo 
OAI PMH è uno standard mediante il quale i Service provider interrogano i data 
provider per prelevarne i metadati contenuti e creando su questa base servizi a valore 
aggiunto. 
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la visibilità, il prestigio e il valore pubblico. Clifford Lynch (Lynch 
2003) sottolinea come i contenuti digitali in un sistema non coor¬ 
dinato siano a rischio. Nelle istituzioni vi è una grande massa di 
informazioni digitali decentrate che devono essere in qualche mo¬ 
do raccolte condivise e preservate dall'organizzazione. L'archivio 
istituzionale nasce dunque anche con questo fine. Sono quasi 1300 
gli archivi istituzionali nel mondo e in Italia già 43 atenei ne posseg¬ 
gono uno. 11 Un archivio istituzionale dialoga con gli altri archivi 
istituzionali e con i principali motori di ricerca sia specialistici che 
generalisti 12 che indicizzano i metadati e li rendono disponibili per 
la metaricerca. 

Proprio per le loro caratteristiche di collezioni di documenti e 
dati bibliografici questi strumenti sono stati considerati fin dalla 
nascita di stretta pertinenza delle biblioteche. Di fatto i bibliotecari 
hanno contribuito e contribuiscono allo sviluppo della loro architet¬ 
tura e alla validazione dei dati contenuti. Non è dunque raro che 
gli archivi vengano avviati dai sistemi bibliotecari. 13 Di recente si è 
cominciato a capire che un archivio ben costruito rappresenta una 
fonte preziosa di dati amministrativi e gestionali che, opportuna¬ 
mente elaborati, possono dare una più completa rappresentazione 
dell'attività di ricerca svolta in un'istituzione. Il fatto che esista un 
archivio istituzionale non è, di per sé, garanzia di una sua concreta 
utilità (e di concreto utilizzo) a fini valutativi se non viene accom- 

n Dati Opendoar, marzo 2010. Gli archivi italiani non hanno tutti il medesimo 
livello di copertura temporale e disciplinare. Ci sono Atenei in cui l'archivio funge 
anche da anagrafe della ricerca e in cui almeno il deposito dei metadati e obbligatorio, 
ci sono atenei che hanno reso obbligatorio il deposito solo di alcune tipologie di 
pubblicazioni (ad esempio le tesi di dottorato), ci sono atenei in cui il deposito è 
lasciato aU'iniziativa dei ricercatori. 

12 Google, Yahoo, ma anche Google Scholar, Scientific Commons, Base, Oaister. 

13 Un recente rapporto della Association of Research Library (Association of Re¬ 
search Libraries 2009) individua nella gestione dell'archivio istituzionale la funzione 
cruciale di una biblioteca di ricerca. 
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pagnato da un'attenta validazione dei dati contenuti e dalla loro 
strutturazione rispetto alla domanda che definisce l'azione di va¬ 
lutazione. In questo senso, il loro incardinamento negli uffici di 
valutazione della ricerca è fondamentale. 

Gli archivi istituzionali sono inoltre (e in realtà principalmente) 
predisposti per contenere i full-text dei prodotti da valutare, anche 
nelle diverse versioni (corrispondenti alle diverse fasi della filiera di 
produzione di un lavoro scientifico). 14 

Nel luglio 2009 la CRUI è intervenuta sulla materia producendo 
il documento L'Open Access e la valutazione dei prodotti della ricerca- 
Raccomandaz ioni. (CRUI. Gruppo di lavoro sull'accesso aperto 2009) 
Questo documento è stato pubblicato dopo un lungo periodo di 
gestazione, di confronto (aH'interno del gruppo di lavoro che lo ha 
redatto) e di riflessione sui modelli stranieri che hanno già previsto 
una integrazione fra archivi istituzionali ed esercizi di valutazione 
(in particolare il RAE britannico e il modello australiano ERA. 15 Le 
raccomandazioni hanno come destinatari le agenzie, gli organi di 
valutazione della ricerca e gli atenei e partono dalle best practice 
già sviluppate in altre nazioni e da alcune esperienze italiane di 
creazione di anagrafi della ricerca locale (UNIMI, UNITN). Nono¬ 
stante ne rilevi alcuni limiti, il documento sottolinea l'importanza 
della peer review che va sempre affiancata all'analisi quantitativa, 
proponendo però l'analisi di nuove forme di revisione (soft peer 
review, open peer review), e degli strumenti della cosiddetta social 
scholarship, strumenti fino ad ora poco studiati ma che si potrebbero 
applicare agli archivi istituzionali una volta che essi contenessero i 

14 Versione sottomessa ad un editore (versione 1 o pre-print), versione referata 
contenente tutte le correzioni proposte(versione 2 o post-print), versione editoriale 
(versione 3). Si veda al proposito Sherpa Romeo http://www.sherpa.ac.uk/ romeo/, 
VIF http://www2.lse.ac.uk/library/vif/. Per questioni legate al diritto d'autore non 
sempre e non tutte le versioni possono essere inserite in un archivio. 

15 http://www.arc. gov.au/era/faq.htm (Day 2005; Harnad 2009). 
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full-text. La presenza dei full-text permetterebbe anche di migliorare 
e potenziare la valutazione qualitativa tradizionale, rendendola più 
trasparente, corretta ed efficace. 

Le raccomandazioni ai nuclei di valutazione e agli atenei invitano 
alla creazione di una anagrafe della ricerca nazionale interoperabile 
con le anagrafi della ricerca locali, a dotarsi di un archivio istituziona¬ 
le conforme a OAI-PMH, 16 interoperabile con l'anagrafe della ricerca 
locale e nazionale, ad adottare uno standard proposto dalla CRLJI 
per il curriculum vitae, a richiedere, o incoraggiare fortemente, il 
deposito dei prodotti della ricerca in full-text e in formato.pdf. Non è 
questo il luogo per discutere pregi e difetti delle linee guida, tuttavia 
la loro approvazione mostra un riconoscimento a livello centrale 
dell'importanza e dell'utilità di strumenti e strategie dell'accesso 
aperto. 17 

Fino ad oggi il rapporto fra esercizi di valutazione e soggetti 
commerciali (in particolare SCI di ISI, 18 ma ora anche Scopus 19 ) ha 
fortemente orientato le scelte dell'editoria accademica e, in ultima 
analisi, anche quelle degli autori. Dagli anni '60 ad oggi la lista di 
titoli contenuti in Science Citation Index nata con scopi e destinatari 
assai diversi da quelli della valutazione della ricerca, è diventata cri¬ 
terio prevalente di qualità, in diversi ambiti definendo chiaramente 
i confini della scienza mainstream (Guedon 2008) da cui le riviste non 

16 Lo standard intemazionale della Open Archives Initiative per l'interoperabilità 
degli archivi aperti, http://www.openarchives.org/. 

17 Un recente confronto fra le prassi in uso in altri paesi europei 
(in particolare Gran Bretagna, Olanda, Norvegia, Spagna, Francia) 
http://www.eunisresearch2010.it/page.jsp?id=100172 mostra come gli archi¬ 
vi istituzionali siano la fonte principale dei dati sulla produzione scientifica delle 
istituzioni per tutti i sistemi di gestione della ricerca in uso in quei paesi. 

18 Ora Web of Science di Thomson Reuters, 
http : / / thomsonreuters. com/ products_services / Science / 
science_products / a-z / web_of_science 

19 Prodotto da Elsevier, http://www.info.scopus.com/. 
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comprese nel database sono escluse. 20 

Gli archivi istituzionali possono in prospettiva (occorre una co¬ 
pertura del 100%) costituire una infrastruttura per l'applicazione 
di nuove metriche article based e non joumal based (e quindi di 
tracciabilità "dell'impatto reale" non limitato a citazioni e IF della 
rivista) (Harnad 2009), che includano l'uso, il numero delle citazioni, 
i download, l'inclusione negli strumenti di social scholarship ed altri 
parametri e indicatori 21 che possono contribuire a misurare il valore 
della ricerca (Bollen et al. 2009a). 22 

Questa promettente realtà si deve però confrontare con due fe¬ 
nomeni contraddittori. Da una parte, almeno per le scienze dure, la 
presenza consolidata di un approccio bibliometrico che ha costruito 
nel tempo una propria ineluttabilità. Dall'altra una limitata esten¬ 
sione della copertura delle informazioni presenti oggi negli archivi 
italiani (e degli archivi stessi), a partire dai full text, che rendono 
difficili comparazioni e ranking. 23 Ma rappresenta anche una possi¬ 
bilità per sperimentare, ad esempio nel campo delle scienze umane, 

20 Un recente rapporto del gruppo di esperti sulla valutazione della ricerca uni¬ 
versitaria del DG ricerca della EC indica nel capitolo su best practice: In line with 
International practice to ensure wider dissemination and take-up of research into 
society and economy, support with experiments with open Science, open source and 
open repositories is vital. Although thè added value of these approaches - including 
their implication for scientific scholarly practice and their economie aspeets - need to 
be carefully studied, they could eventually also help overcome some of thè limitations 
inherent in current available bibliometric and citation databases (Expert Group on 
AUBR2010). 

21 Solo a titolo d'esempio: citerank, co-citazioni, rapporto citazioni/download, 
indicatori cronologici (latenza longevità), indici di citazioni di libri ecc. 

22 Si pensi ad esempio a Citebase, lo strumento che lavora su Arxiv e misura il n. di 
citazioni agli articoli contenuti nell'archivio (quasi 600.000). L'esperienza nell'ambito 
della fisica delle alte energie potrà essere ripetuta nel momento in cui anche in altre 
discipline si verrà a creare una massa critica di lavori di ricerca open access. 

23 A ciò si aggiunge, purtroppo, una certa confusione su ruolo e funzione degli 
archivi scambiati con i sistemi di CRIS (che invece dovrebbero utilizzare gli archivi 
come fonte dei dati) o con le anagrafi della ricerca (Reale et al. 2010). 
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criteri valutativi preclusi ad altre metodiche. L'esperienza sviluppa¬ 
ta all'Università degli Studi di Milano, lavorando congiuntamente 
sull'incremento progressivo della autoarchiviazione dei full.text e su 
progetti pilota che sperimentino nuovi indicatori e nuove metriche 
e che utilizzino l'archivio come fonte di dati per analisi della pro¬ 
duttività scientifica dei ricercatori, delinea un nuovo scenario per 
la valutazione in cui alcune tradizionali debolezze (come valutare 
certi output, come considerare la non linearità di produzione in certe 
discipline, come pesare il contributo individuale nel curare opere 
collettive) possono trasformarsi in elementi più oggettivi, e quindi 
più misurabili. 


L'utilizzo di AIR (Archivio Istituzionale 
della Ricerca) come fonte di dati per la 
valutazione della ricerca nelle scienze umane 

L'esercizio pilota svolto presso la Facoltà di Lettere e filosofia 
dell'Università degli Studi di Milano parte dalla fondamentale ne¬ 
cessità di conoscere più da vicino le caratteristiche della produzione 
scientifica dei ricercatori: cosa, come, dove, con chi pubblicano i 
ricercatori afferenti ai diversi Dipartimenti, partendo da strutture 
che hanno una scarsa abitudine ad essere valutate secondo criteri 
quantitativi e da una diffusa riluttanza ad accogliere sistemi di va¬ 
lutazione diversi da una attenta e approfondita lettura critica dei 
lavori di ricerca. Quando ci si è resi conto che la valutazione era ine¬ 
vitabile e che sarebbe divenuta un nodo centrale per la distribuzione 
di posti di ricercatore, di borse di dottorato e per la suddivisione dei 
fondi stessi si è deciso di non subire decisioni e prassi in atto per 
altre discipline, ma di proporre criteri adeguati al tipo di produzione 
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scientifica, alle modalità di comunicazione dei risultati e soprattutto 
alla non linearità della produzione (tempi, metodi). 

La valutazione in atto sulle scuole di dottorato ha fornito lo 
spunto per cominciare una analisi conoscitiva (nella prima fase solo 
quantitativa) sulla produzione scientifica dei ricercatori di ambito 
umanistico. L'archivio istituzionale è stato individuato come l'unica 
fonte (relativamente) completa a disposizione. Una prima analisi 
a campione sui dati ha rilevato alcune lacune importanti, per cui i 
docenti sono stati sollecitati a completare l'opera di autoarchiviazio¬ 
ne dei metadati (e dove possibile anche dei full-text 24 ) per rendere 
l'archivio il più esaustivo possibile e quindi l'analisi la più vicina 
possibile alla realtà. 

L'Archivio Istituzionale della ricerca 25 dell'Università degli studi 
di Milano (d'ora in poi AIR) nasce nel 2005 e utilizza il software 
DSpace. 26 La versione utilizzata dall'Ateneo è stata fortememente 
personalizzata dal consorzio CILEA per le esigenze della raccolta 
di dati anche ai fini della valutazione delle pubblicazioni. Dal 2006 
l'Ateneo ha adottato il sistema SURplus 27 per la gestione integrata 
dei dati relativi al sistema ricerca dell'ateneo. In una prima fase il 
sistema è stato utilizzato per la richiesta di finanziamenti interni 
e per le relazioni annuali dei dipartimenti. Dal 2008 è stato imple¬ 
mentato il modulo di business intelligence che permette l'estrazione 

24 In merito a questo punto la Facoltà ha inteso favorire l'autoarchiviazione dei 
full-text stabilendo per le pubblicazioni finanziate l'obbligo di consegna da parte 
dell'editore del pdf finale che verrà auto archiviato immediatamente per quanto 
riguarda la rivista di Facoltà e la collana di atti di convegni e dopo 18 mesi per quanto 
riguarda le monografie. 

25 http://air.unimi.it 

26 DSpace è uno dei due software per la gestione di archivi istituzionali più diffusi 
al mondo (516 archivi istituzionali utilizzano questo software). 

27 SURplus è la suite di applicazioni sviluppata dal consorzio CILEA per 
la raccolta e il monitoraggio dei dati relativi alla ricerca condotta in Ateneo, 
http://www.cilea.it/index.php7kU820. 
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massiccia dall'archivio istituzionale di dati variamente aggregati 
ed organizzati (per conteggi, elenchi e indici) a seconda delle diver¬ 
se esigenze valutative. Attualmente l'archivio contiene più di 11 
milioni di dati e 62500 registrazioni. 28 

AIR è stato creato per documentare e rendere visibile la produ¬ 
zione scientifica dell'Ateneo. Una delibera del Senato accademico 
del 2009 29 ha poi individuato nell'archivio la fonte privilegiata di 
dati per tutti gli esercizi di valutazione interni ed esterni renden¬ 
do dunque obbligatorio, a partire dal 2009, il deposito almeno dei 
metadati bibliografici di tutti i lavori di ricerca dell'ateneo entro un 
mese dalla pubblicazione e consigliando contestualmente e laddove 
possibile anche l'upload dei full-text. 

Un collegamento diretto fra AIR e il sito docente del MIUR per¬ 
mette il travaso quotidiano dei dati inseriti nell'archivio, evitando 
ai ricercatori inutili inserimenti doppi. La copertura dell'archivio è 
completa a partire dal 2008. In particolare, grazie all'opera di respon¬ 
sabilizzazione effettuata a più riprese dal Preside, per i Dipartimenti 
afferenti alla Facoltà di Lettere la copertura è completa a partire dal 
2005. Le tipologie di materiali contenuti sono: articolo su periodi¬ 
co, intervento a convegno, contributo in volume, libro, relazione 
interna o rapporto di ricerca, norma o brevetto, mappa, applicazione 
o prodotto multimediale, direzione di collana o partecipazione al 
comitato scientifico di una rivista, attività, tesi di dottorato. 30 Ogni 
registrazione contiene informazioni bibliografiche generali (anche 
piuttosto dettagliate), abstract e parole chiave, informazioni sul¬ 
l'autore o gli autori afferenti all'ateneo (n. autori totali e afferenti 
all'ateneo, per tutti gli autori afferenti il SSD l'area CUN la struttura 
di ricerca ecc.), informazioni sul target del prodotto della ricerca 

28 Agg. Gennaio 2010. 

29 Delibera del 20/03/2009. 

30 Alcune di queste tipologie verranno mutate nel passaggio alla prossima versione 
di AIR. 
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(nazionale/internazionale, presenza o meno di IF), presenza o meno 
di filtro di qualità (peer review). Alcune di queste informazioni 
vengono importate dall'anagrafica di ateneo. 

Il workflow di AIR prevede l'autoarchiviazione dei metadati (e 
del full-text) a cura dei ricercatori (con alcuni campi da compilare 
obbligatoriamente ed altri facoltativi) e la validazione e pubblicazio¬ 
ne dei record da parte dei bibliotecari che sono tenuti a correggere 
le registrazioni tranne che per quanto riguarda il target e la pre¬ 
senza o meno di peer review. Il lavoro di validazione dei record è 
molto accurato, per cui si può dire che mediamente i dati inseriti 
nell'archivio sono completi e affidabili. 

Dopo la prima operazione di verifica sulla completezza dell'ar¬ 
chivio e la sollecitazione da parte del Preside a inserire le registra¬ 
zioni mancanti si è cercato di capire quali fossero le caratteristiche 
della produzione scientifica dei Dipartimenti. Oltre al numero di 
pubblicazioni per docente suddiviso nelle tipologie rilevanti si è 
preso in considerazione l'utilizzo delle lingue straniere per capire 
se e in che misura tale uso possa essere considerato indice di inter¬ 
nazionalizzazione e se l'internazionalizzazione abbia un qualche 
peso nelle discipline umanistiche. Un altro dato che è sembrato utile 
registrare è in che misura siano presenti articoli con IF ( e in quali 
SSD) e quale sia la loro percentuale rispetto agli articoli senza IF. E 
stato calcolato inoltre il grado di co-authorship nelle varie tipologie 
prese in esame la pubblicazione in riviste o monografie in cui viene 
effettuata la peer review e il target delle riviste. 

La Facoltà di Lettere e Filosofia dell'Università degli studi di 
Milano comprende per l'arco temporale sotto esame (2006-2008) 
312 docenti (196 fra associati e ordinari e 106 ricercatori). Dopo 
il processo di dipartimentalizzazione le strutture di ricerca sono 
diventate 8. Esse comprendono una buona parte dei SSD delle Aree 
10-11. Nel conteggio delle pubblicazioni, suddivise per tipologia, si 
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sono tenuti distinti docenti da ricercatori per cercare di capire se i 
comportamenti e la produttività fossero in qualche modo influenzati 
dalla posizione accademica. 


Docenti 

Numero totale di pubblicazioni 

Numero di pubblicazioni per ricercatore 

Articoli 

Saggi 

Int a conv. 

Libri 

Articoli 

Saggi 

Int a conv. 

Libri 

440 

850 

294 

355 

2,24 

4,33 

1,5 

1,81 

Ricercatori 

256 

377 

122 

150 

2,41 

3,55 

1,15 

1,41 

Media annuale pub/scientist 3,13 


Tabella 1: Pubblicazioni doc/ric Dipartimenti afferenti a Lettere e Filosofia per il 
triennio 2006-2008 

Dalla tabella 1 risulta chiaramente come i saggi siano l'output 
prevalente seguito da articoli e dalle monografie, mentre invece 
la tipologia intervento a convegno risulta meno significativa. Se 
confrontato con altre analisi recenti fatte sugli archivi istituzionali 
anche stranieri e che considerano la produttività dei ricercatori in 
ambito umanistico 31 il dato relativo ai ricercatori dell'Università 
degli Studi di Milano appare nella media. 

Per quanto riguarda l'uso delle lingue diverse dall'italiano nelle 
quattro tipologie prese in esame, il grado di utilizzo è relativamente 
basso (dato anch'esso confermato da indagini fatte su altri archi¬ 
vi). Inoltre va sottolineato come l'inglese non sia la lingua straniera 
prevalentemente usata, il francese, ad esempio risulta altrettanto 
importante. 11 dato ha fatto riflettere molto sulla definizione di inter¬ 
nazionalizzazione per queste discipline (uso della lingua inglese?) e 
soprattutto sulla sua rilevanza. Logica e Filosofia del linguaggio sem¬ 
brano essere le discipline che maggiormente utilizzano l'inglese, e 
rappresentano anche i settori che hanno modalità di comunicazione 
dei risultati più simili a quelle delle scienze dure. 

Anche il dato sulla presenza di articoli in riviste con IF conferma 
quanto già reso evidente da molti studi internazionali (Nederhof 

31 Unipub project (2010) in particolare p. 37 
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Articoli 

Saggi 

Int a conv. 

libri 

Docenti 

17% 

7,10% 

11,20% 

8,10% 

Ricercatori 

16% 

10,80% 

20% 

8,60% 


Tabella 2: Utilizzo di lingue diverse dall'italiano nelle diverse tipologie 


2006). Per quanto riguarda i docenti solo il settore M-FIL/02 (Logica 
e filosofia della scienza) si rivolge a riviste con IF, mentre per quanto 
riguarda i ricercatori gli articoli con IF si concentrano nel settore 
FIS/07 Fisica applicata (Beni culturali e ambientali). 



Numero totale articoli 

N. articoli con IF 

N. Articoli senza IF 

Docenti 

440 

4 

436 

Ricercatori 

256 

9 

247 


Tabella 3: Presenza di articoli in riviste con IF 


I ricercatori nelle scienze umane lavorano di solito da soli. È 
stata misurata la media del numero di autori per contributo nel¬ 
le varie tipologie. Essa ha dato, come previsto, risultati piuttosto 
bassi. Il dato relativo ai libri è visibilmente più alto per un errore 



2006 

2007 

2008 

Articolo 

1,182 

1,233 

1,152 

Saggio 

1,542 

1,194 

1,688 

Int. a convegno 

1,2 

1,6 

1,2 

libro 

3,722 

9,482 

7,716 


Tabella 4: Presenza di articoli in riviste con IF 


concettuale nell'inserimento dei metadati relativi alla curatela dei 
volumi miscellanei e degli atti di convegni in cui il curatore ha inse- 
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rito nel campo autori anche tutti i contributori come se fossero tutti 
coautori e non autori di contributi singoli. Andando nel dettaglio a 
controllare le curatele la media degli autori è molto vicina a quella 
delle altre tipologie. Si è cercato di fare anche una indagine più 
approfondita sulla produttività dei diversi Dipartimenti (tab. 5). A 
questo scopo si è analizzata la produttività delle strutture a partire 
dal completamento della dipartimentalizzazione (2007-2008). 



Anno 

N. pubblicazioni 

Media per docente 

Dip Filologia Moderna 

2007 

105 

3 

2008 

111 

3,17 

Dip. Filosofia 

2007 

121 

2,57 

2008 

115 

2,44 

Dip. Geografia e scienze Umane 

2007 

52 

4,33 

2008 

49 

4,08 

Dip Scienze linguaggio e lett. straniere 

2007 

145 

3,29 

2008 

150 

3,40 

Dip. Scienze della storia e doc. storica 

2007 

183 

3,58 

2008 

167 

3,27 

Dip. Scienze dell'antichità 

2007 

174 

3,48 

2008 

168 

3,36 

Dip. Storia delle arti, musica e spett. 

2007 

80 

3,47 

2008 

94 

4,08 

Dip. Studi linguistici, lett. e filologici 

2007 

77 

3,66 

2008 

85 

4,04 


Tabella 5: Produttività dipartimenti (2007-2008) 


La media per docente risulta abbastanza omogenea, con una 
lieve flessione per quanto riguarda il Dipartimento di Filosofia. Se 
confrontato col dato analogo relativo alle altre tre aree affini (area 
CUN 12,13 e 14) quello relativo a lettere è più alto. 32 

Una analisi sulla scelta delle sedi di pubblicazione ha eviden¬ 
ziato il fatto che solo il 12% delle pubblicazioni (205 su 1592) sono 
state effettuate con editori stranieri (ugualmente distribuiti fra in¬ 
glesi, francesi, spagnoli e tedeschi). Alla pubblicazione presso sedi 

32 La media per autore 2008 dei dipartimenti di Giurisprudenza oscilla fra 0,71 e 
3,71, quella di Scienze politiche fra 2,07 e 3,64. 
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straniere si rivolgono soprattutto i ricercatori di Filosofia e dei dipar¬ 
timenti di lingue. Gli altri dipartimenti scelgono editori nazionali 
(con una uguale distribuzione fra editori commerciali, university 
press ed editori interni) sia per la pubblicazione di articoli che per 
la pubblicazione di libri. Con alcuni indicatori (presenza o meno 
di referaggio, livello nazionale o internazionale della pubblicazio¬ 
ne) si sono riscontrate difficoltà (per altro le stesse presenti anche a 
livello di sito docente Cineca perché il dato non viene controllato) 
che si spera possano essere affrontate (e risolte) almeno a livello 
di ateneo. Questi dati vengono inseriti direttamente dai docenti e 
dipendono dunque da una percezione soggettiva. Il fatto che la peer 
review non venga praticata nelle scienze umane secondo procedure 
formali standardizzate come nelle scienze dure e secondo i mecca¬ 
nismi tradizionalmente riconosciuti ha lasciato ampio margine di 
interpretazione ai docenti. Il che si è tradotto in una difformità dei 
risultati anche rispetto agli stessi oggetti, per cui il dato attualmente 
non è utilizzabile. Per quanto riguarda la questione del target delle 
riviste (livello nazionale o internazionale) non esiste una definizione 
a livello di ateneo e considerare l'uso della lingua inglese come crite¬ 
rio di discriminazione appare poco corretto anche tenendo presente 
quanto poco l'uso delle lingue straniere incide sulla produzione 
scientifica. 33 Si è pensato di qualificare il dato riprendendo tutti i 
titoli delle riviste su cui pubblicano i docenti di Lettere (circa 500) 
e di incaricare una apposita commissione di definire a monte l'esi¬ 
stenza di meccanismi di selezione (peer review o no) e la diffusione 
a livello nazionale e internazionale. 34 Ogni volta che una testata 


33 Lo stesso problema è stato sollevato all'interno del panel di riferimento per l'area 
14 (Bartolini 2007). 

34 Va notato che lo stesso problema si presenta per l'ambito giuridico e per quello 
delle scienze sociali dove esistono le medesime incertezze. La soluzione più corretta 
sarebbe che la presenza di filtro di qualità e il livello di diffusione venissero definiti a 
livello di ministero. 
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viene richiamata nell'archivio dovrebbe portare con sé di default 
queste informazioni che vengono precompilate automaticamente e 
non possono essere modificate. Il passo successivo all'esplorazione 
delle caratteristiche più rilevanti della produzione scientifica dei 
Dipartimenti di Lettere è stato quello di creare una possibile griglia 
condivisa che permettesse di raccogliere l'insieme quantitativo dei 
risultati della ricerca, associandolo ad un giudizio di qualità, di ri¬ 
levanza e che tenesse in considerazione la varietà dei prodotti, non 
tutti sempre immediatamente tradotti in risultati tangibili. Sono 
state fissate le attività a cui si ritiene debba essere data rilevanza (a 
titolo d'esempio direzione di scavi, organizzazione di mostre, studio 
di carte e documenti, analisi di manoscritti), le cariche (ad esempio 
direzione di collane o periodici che effettuano selezione all'ingresso, 
direzione di PRIN o progetti europei ecc.) e le tipologie di pubblica¬ 
zioni da prendere in esame e quelle da escludersi. Perché la griglia 
sia applicabile alle diverse voci andrà assegnato loro un peso. 


La presenza dei full-text nell'archivio: una 
opportunità da cogliere 

E difficile definire l'impatto di un lavoro di ricerca (Bollen et al. 
2009b), 35 più difficile ancora è misurarlo, a maggior ragione in quei 
settori con caratteristiche di lenta maturazione della visibilità. Nu¬ 
merosi studi hanno dimostrato che nelle scienze umane i libri sono 
citati molto più spesso che gli articoli (anche dagli articoli stessi) 
(Nederhof 2006), esiste dunque una oggettiva difficoltà nella raccolta 
di dati in un settore che, per il momento e in Italia, è ancora molto 
legato al mezzo analogico. Senza dubbio la presenza dei full-text 

35 Science is a gift-based economy: vaine is defined as thè degree to which one's ideas have 
contributed to knowledge and impacted thè thinking ofothers... 
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negli archivi istituzionali rappresenta una grande opportunità per 

10 sviluppo di nuove tecniche e metodiche per la raccolta di dati e 
per la misurazione dei risultati della ricerca (JISC. Scholarly Com- 
munication Group 2005). È stato più volte sottolineato che il JIF non 
misura la ricerca, ma qualcosa che ha a che fare con le riviste. 36 Che 

11 suo scopo originario era quello di comparare le riviste fra loro, 
ma che è stato poi utilizzato in modo improprio per valutare singoli 
ricercatori dipartimenti o istituzioni. Inoltre nel corso degli ultimi 
anni le diverse comunità scientifiche hanno cominciato ad utilizzare 
accanto ad articoli e monografie altri canali di comunicazione la cui 
presenza non viene minimamente registrata in JCR o in Scopus (Ne- 
derhof, van Leeuwen e van Raan 2010), (Larsen e Inns 2010). È chiara 
la necessità di affiancare alla peer review criteri di valutazione meno 
costosi e più oggettivi, che possano rappresentare la misura dell'out¬ 
put rispetto all'input e che permettano il confronto internazionale, 
ma è altrettanto assodata l'esigenza di trovare metriche che si adat¬ 
tino alle modalità delle diverse comunità disciplinari. La necessità 
di sviluppare metriche diverse dipende anche dall'inadeguatezza 
dell'utilizzo di un'unica metrica che tende alla semplificazione di 
fenomeni molto complessi o a cogliere di questi fenomeni solo un 
aspetto parziale. Per un quadro più completo è necessario prendere 
in considerazione sia le metriche generate dagli utenti (download, 
viste, viste degli abstract ecc.) sia le metriche generate dagli autori 
(citation analysis ma anche citazioni informali come ringraziamenti, 
link ecc.), ed è proprio la presenza di una massa critica di lettera¬ 
tura liberamente accessibile che da un lato permette questo tipo di 
misurazioni, dall'altro aumenta l'impatto citazionale (Swan 2010). 
Sono già stati sviluppati strumenti che misurano l'impatto in termini 
di citazioni degli articoli contenuti in un archivio Open Access. Si 


36 Si pensi solo, in Italia, a quanto in più occasioni scritto da A. Figà Talamanca ma 
anche al rapporto di IMU (IMU 2008). 
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pensi a Citebase, 37 che analizza le citazioni degli e agli articoli della 
comunità dei fisici delle alte energie contenuti in Arxiv, 38 o a CitEc 39 
che calcola l'impatto dei lavori di ricerca contenuti in RepEc, l'archi¬ 
vio disciplinare degli economisti. Il deposito dei full-text dei lavori 
di ricerca in un archivio istituzionale presenta molteplici vantaggi. 
In primo luogo offre una possibilità di disseminazione impensabile 
nel mondo analogico, ma anche nel formato digitale laddove il testo 
non è corredato dalla opportuna metadatazione. E stato dimostrato 
che l'Open Access aumenta l'impatto citazionale (Swan 2010). Va 
notato però che l'impatto aumenta per quegli articoli che sono si¬ 
gnificativi per le aree disciplinari di riferimento e che normalmente 
vengono poco citati perché reperibili solo con difficoltà. Non ci si 
aspetta che l'Open Access renda citabile un articolo di scarsa qualità 
o scarsamente significativo, ma che renda citabile (se meritevole) un 
lavoro che normalmente non verrebbe letto. 40 

Non tutti gli editori permettono il deposito della versione finale 
dell'articolo o del saggio. Tuttavia gli archivi sono strumenti flessi¬ 
bili e possono accogliere diverse versioni di un lavoro, con diverse 
possibilità di accesso. Il che rappresenta un enorme vantaggio per gli 
esercizi di valutazione nazionale, in quanto risulta possibile racco¬ 
gliere in un unico punto (accessibile solo a chi valuta) tutti i prodotti 
da valutare (ERA 2010) lasciando comunque ad accesso aperto gli ab¬ 
stract, le bibliografie, i metadati bibliografici e le versioni precedenti 
a quella pubblicata. 41 


37 http: //www.citebase.org/. 

38 http://arxiv.org/ (l'archivio contiene più di mezzo milione di articoli). 
39 http://ideas.repec.org/top/top.series.recurse.html. CitEc ha sviluppato un pro¬ 
prio modello di misurazione delle citazioni sulla base della letteratura presente in 
RepEc. 

40 E' come se le biblioteche accademiche potessero improvvisamente garantire 
l'accesso a tutta la letteratura scientifica prodotta (Swan 2010). 

41 II PDF dell'autore con integrate tutte le correzioni ad esempio. 
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Conclusioni 

Il lavoro di advocacy fatto dalla Facoltà di Lettere ha portato 
a buoni risultati rispetto al popolamento dell'archivio, anche se 
è troppo presto per poter trarre conclusioni. 42 L'attuale versione 
del software non offre statistiche con una sufficiente granularità. Il 
passaggio alla prossima versione (AIR2) permetterà un'analisi sull'u- 
tilizzo dei full-text molto più mirata e approfondita. Il caricamento 
dei full-text nell'archivio è considerato dai ricercatori una ulteriore 
incombenza per cui, fintanto che non si vedrà il reale vantaggio di 
questa operazione sarà difficile che i docenti se ne facciano carico. 
Si spera che i risultati ottenuti dalla facoltà di Lettere possano ser¬ 
vire da traino per tutte le altre Facoltà, in particolare per quelle di 
Giurisprudenza e di Scienze politiche. 

L'esercizio pilota conferma che l'utilizzo dell'archivio e del si¬ 
stema di estrazione ed elaborazione dei dati in esso contenuti sono 
strumenti fondamentali per il recupero, l'aggregazione e l'analisi di 
grandi quantità di metadati bibliografici in genere qualitativamente 
affidabili e per poter condurre esercizi di valutazione all'interno 
dell'ateneo. L'esercizio ha permesso anche di evidenziare alcuni 
limiti dell'attuale workflow che dovranno essere corretti perché sia 
possibile una analisi più efficace. La comparabilità con altri atenei 
si è invece rivelata difficile poiché l'utilizzo degli archivi non è an¬ 
cora generalizzato e anche dove presente, l'archivio istituzionale 
non dà garanzie rispetto alla copertura e all'esaustività dei dati. Ne 
deriva, come conclusione, la necessità di estendere questa prassi 
con modalità concordate, come le raccomandazioni prodotte in tal 
senso dalla CRUI affermano e motivano. Ma anche il fatto che l'open 
access non limita le sue potenzialità ad una facilitazione di accesso 

42 Parecchi docenti hanno già visto i propri lavori citati con riferimento all'archivio 
istituzionale e non alla pubblicazione originale, ma misurazioni realistiche potranno 
essere fatte solo più avanti. 
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alle informazioni ma modifica la stessa modalità di fruizione del¬ 
le informazioni contenute nei database. E che, di conseguenza, lo 
scenario valutativo dovrà forzatamente adattarsi al nuovo quadro 
(come in parte già avviene in altri paesi europei), esattamente come 
la circolazione delle informazioni via web relativamente al processo 
di generazione delle conoscenze ha modificato (e sta modificando) 
la misurabilità dei contributi forniti rispetto agli esiti registrati nelle 
stesse pubblicazioni. 
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